AI计算平台的文件结构说明
我们知道,在AI计算平台进行AI算法训练时,是以【项目】为载体,而在算法训练过程中,一个项目会包含以下的项目文件:数据集、代码、模型、任务的输出。
我们针对以上四种文件类型,进行了隔离存储,并提供在代码中便捷的访问他们:
文件夹 | 具体作用 | 读写权限 |
---|---|---|
/data/$username/$dataset_name | 用于存放名为$dataset_name的数据集 | 均可读,仅调试环境可写 |
/code | 用于存放该项目中用户上传的代码 | 均可读,仅调试环境可写 |
/model/$username/$model_name | 用于存放名为$model_name的预训练模型 | 均可读,仅调试环境可写 |
/output | 用于存放该项目中某个任务的输出文件 | 均可读写 |
举个例子:
比如创建一个项目"DogvsCat-test",在创建项目时,选择了数据集"DogvsCat",并选择预训练模型"ResNet"(这个数据集和模型是用户名为systemuser的用户公开发布的),然后上传了一个"main.py"的代码文件,那么此时:
- main.py代码文件,将会放入项目的 /code 目录;
- 在main.py文件中,如果需要获取DogvsCat数据集文件,需要使用 /data/systemuser/DogvsCat/… 的格式;
- 在main.py文件中,如果需要获取ResNet模型中的文件,需要使用 /model/systemuser/ResNet 的格式;
在Jupyter作业下对文件的读写操作,需要注意:
- 对code目录写入权限仅仅针对代码修改,如果在该目录下进行其它文件写入,如模型数据存储等操作,将不会被保存;
- data以及model目录建议仅在需要进行解压文件等操作时进行写入;
- 在代码执行期间生成的文件请统一保存在/output目录;
- 每个任务都有独立的/output,任务训练完成后,可在【运行任务-output】下查看输出内容。